गूगल ने 22 जनवरी 2025 को अपने Gemini 2.0 फ्लैश थिंकिंग निष्कर्ष मॉडल का एक मजबूत संस्करण लॉन्च किया, जिससे फिर से चैटबोट एरेना में शीर्ष स्थान हासिल किया। इस संस्करण का अपग्रेड मुख्य रूप से लंबी संदर्भ प्रसंस्करण क्षमता पर केंद्रित है, जो 1M टोकन तक इनपुट का समर्थन करता है, जिससे उपयोगकर्ताओं को लंबी पाठ सामग्री को संसाधित करते समय अधिक गहन विश्लेषण क्षमता मिलती है। गूगल एआई के प्रमुख जेफ डीन ने प्रस्तुतिकरण में कहा कि यह प्रयोगात्मक अपडेट मॉडल की गुणवत्ता में सुधार करने के लिए है।

मिनीमैक्स ने 15 जनवरी 2025 को अपने नए श्रृंखला मॉडल मिनीमैक्स-01 को ओपन-सोर्स करने की घोषणा की, जिसमें मूल भाषा बड़े मॉडल मिनीमैक्स-टेक्स्ट-01 और दृष्टि बहु-मोडल बड़े मॉडल मिनीमैक्स-VL-01 शामिल हैं। मिनीमैक्स-01 श्रृंखला ने आर्किटेक्चर में大胆 नवाचार किया है, पहली बार बड़े पैमाने पर रेखीय ध्यान तंत्र को लागू किया गया है, जो पारंपरिक ट्रांसफार्मर आर्किटेक्चर की सीमाओं को तोड़ता है। इसके पैरामीटर की मात्रा 4560 अरब तक है, एक बार में सक्रियता 459 अरब है, समग्र प्रदर्शन और विदेश

智谱AI ने घोषणा की है कि अत्यधिक लंबा संदर्भ_length वाला LLM GLM-4-Long अब ओपन प्लेटफॉर्म bigmodel.cn पर उपलब्ध है। यह मॉडल अत्यधिक लंबे पाठ को संभालने के लिए विशेष रूप से डिज़ाइन किया गया है, जो एक बार में दो 'हॉज स्थानों' या 125 पेपर के पाठ की मात्रा को पढ़ सकता है, लंबे दस्तावेजों का अनुवाद, वित्तीय रिपोर्टों का वैश्विक विश्लेषण, महत्वपूर्ण जानकारी निकालने और अत्यधिक लंबी मेमोरी चैटबॉट्स बनाने जैसे परिदृश्यों में व्यापक रूप से उपयोग किया जाता है।

लंबा संदर्भ समझना प्राकृतिक भाषा प्रसंस्करण क्षेत्र की एक प्रमुख चुनौती है, विशेषकर जब बड़े भाषा मॉडल (LLMs) अपने संदर्भ विंडो के आकार से परे पाठ को संसाधित करते हैं। इस समस्या को हल करने के लिए, शोधकर्ताओं ने LooGLE बेंचमार्क परीक्षण विकसित किया, जो LLMs की अत्यधिक लंबी डोक्यूमेंट्स (औसतन 19.3k शब्द, कुल 776 लेख, कई क्षेत्रों को कवर करते हुए) के साथ लंबे संदर्भ समझने की क्षमता का आकलन करने के लिए है। LooGLE में 7 कार्य शामिल हैं, जो छोटे और लंबे निर्भरता को कवर करते हैं, और विभिन्न लंबाई के पाठ के लिए मॉडल की समझ का आकलन करते हैं। परीक्षण डेटा 2022 के बाद के खुलासे से आता है।